摘要。本研究解决了域级逐步学习问题,这是一种现实但具有挑战性的持续学习场景,在该方案中,域分布和目标类别跨任务各不相同。为处理这些不同的任务,引入了预训练的视力语言模型(VLM),以实现其强大的推广性。但是,这会引起一个新问题:在适应新任务时,预先训练的VLMS中编码的知识可能会受到干扰,从而损害了它们固有的零射击能力。现有方法通过在额外的数据集上使用知识蒸馏来调整VLM来解决它,这需要大量计算。为了有效地解决此问题,我们提出了无知的无干扰知识集成(DIKI)框架,从避免避免信息干扰的角度来保留对VLM的预训练的知识。具体来说,我们设计了一种完全残留的机制,可以将新学习的知识注入冷冻的骨干中,同时引发对预训练的知识的不利影响最小。此外,此残差属性可以使我们的分布感知的集成校准方案明确控制来自看不见的分布的测试数据的信息植入过程。实验表明,我们的二基仅使用训练有素的参数超过了当前的最新方法,并且需要较少的训练时间。代码可在以下网址找到:https://github.com/lloongx/diki。
主要关键词